Scaling Large Reasoning Models beyond Human Supervision: A Path toward Superintelligence
将大型推理模型扩展到人工监督之外：通往超级智能之路
🧭 LRM 自监督扩展训练路径综述
The Hong Kong University of Science and Technology · Zhongguancun Academy · Xi’an Jiaotong University · The Chinese University of Hong Kong · The University of Hong Kong
提出奖励轴与经验轴的双维分析框架及 L0-L4 五级阶梯，系统阐述 LRM 在减少人工监督下的扩展路径与风险
📌 工作参考价值（4 点）
- 在电商/广告 Agent 中，可借鉴「可验证奖励」设计：将业务规则、成交结果、用户后续行为等转化为自动校验信号，减少对人工标注的依赖，逐步从 L1 过渡到 L2/L3。
- 引入「经验质量评估」与「反馈保真度监控」：对模型生成的交互轨迹、推荐解释等建立自动评分器，防止在自主探索中出现课程坍塌或奖励黑客，类似推荐系统里的多样性约束。
- 构建模拟环境或沙盒，让 LLM Agent 在推荐/搜索 pipeline 中自我生成课程并迭代，但需加入对抗性校验和人工抽查作为安全阀。
- 注意反馈漂移：在自动奖励下，模型可能偏向表面指标（如点击率）而牺牲长期用户体验，需同时监控策略能力、反馈保真度和经验质量三个维度。